西北大学信息科学与技术学院，陕西 西安 710127
颅骨身份识别是法医学研究的重要课题。针对以往颅骨身份识别研究中颅骨和面貌内在特征表示能力不足的问题，为了充分利用颅骨和面皮模型的有效识别信息、提高颅骨识别能力，提出一种基于视图特征和形状特征融合的颅骨身份识别方法。首先，采用多视图神经网络学习颅骨和面皮的多视图特征，采用基于双谐波距离的LS-MDS算法计算颅骨和面皮的标准形，采用池化融合方法聚合多个特征来减少视图池化阶段的信息丢失；然后，为了解决波核特征对尺度变换敏感的问题，根据特征值归一化思想提取颅骨和面皮的尺度不变波核特征；最后，采用核典型相关分析将视图特征和波核特征进行融合，得到颅骨和面皮的最终特征向量，通过计算颅骨特征向量和面皮特征向量的相关系数实现颅骨的身份识别。实验结果表明，所提方法的识别正确率为95.4%，优于其他对比方法，是一种有效的颅骨身份识别方法。
图像处理 颅骨身份识别 视图特征 波核特征 核典型相关分析 相关系数 激光与光电子学进展
2023, 60(10): 1010011
西北大学 信息科学与技术学院，陕西西安710127
针对目前的点云配准方法在处理秦俑等文物模型时不能很好地解决分辨率不匹配、点云部分重叠、噪声点较多等问题，提出一种基于动态图注意力机制的ResUNet配准模型。该模型将残差模块融入U-Net网络中，使用三维稀疏体素卷积计算点云特征，并引入一种新的归一化技术：批邻域归一化（Batch-Neighborhood Normalization， BNHN），来提高特征对于点密度变化的鲁棒性；为了进一步提高配准性能，该模型通过自注意力机制和交叉注意力机制聚合局部特征和上下文特征，最后结合随机抽样一致性算法来估计源点云与目标点云之间的变化矩阵，完成秦俑文物模型的鲁棒配准。为了验证本文方法的有效与鲁棒，使用四组数据集（3DMatch、3DLoMatch、分辨率不匹配的3DMatch数据集以及两组秦俑数据）对配准模型进行测试，实验结果表明，该算法在3DMatch数据集和3DLoMatch数据集上的配准召回率分别达到90.1%和61.0%；在分辨率不匹配的3DMatch数据集，相比与基于特征学习的配准算法，该算法在配准召回率上提升了5%~20%；在秦俑数据集上，相对旋转误差均小于0.071，相对平移误差均小于0.016，相较于同类算法减少了一个量级或几倍。因此，本文的模型能够提取三维点云的关键特征信息，并且对点密度和重叠度变化具有更高的鲁棒性。
点云配准 动态图注意力机制 低重叠点云 点密度变化 残差网络 point cloud registration dynamic graph attention mechanism point clouds with low overlap point density changes residual network 光学 精密工程
2022, 30(24): 3210
光学 精密工程
2022, 30(18): 2241
西北大学信息科学与技术学院，陕西 西安 710127
在秦俑保护领域，为了降低秦俑碎片匹配及拼接的工作难度，更多的计算机辅助技术应用在破碎秦俑复原工作核心环节的碎片分类中。针对传统的秦俑碎片分类方法对碎片特征提取不充分及秦俑碎片数据采集难度较高等导致的分类准确率低下的问题，提出了一种基于数据增强的秦俑碎片深度分类模型。首先，通过条件生成式对抗网络对现有秦俑碎片数据集进行数据增强，实现秦俑数据集的扩充。其次，通过深度卷积神经网络自动且充分地提取碎片特征信息并实现有效的碎片分类效果。然后，引入convolutional block attention module（CBAM）双通道注意力机制和CutMix增强策略来显著提升深度分类模型的性能。最后，在秦俑实验数据集的对比实验结果表明，与传统的基于几何特征、尺度不变特征变换特征、形状特征、多特征融合等经典碎片分类方法相比，所提方法对秦俑碎片的分类取得了更准确的分类结果，有效降低了后续复原工作中匹配、拼接等工作的复杂度，进而提高了秦俑文物复原工作的整体效率。
图像处理 破碎秦俑复原 碎片分类 条件生成式对抗网络 双通道注意力机制 增强策略 激光与光电子学进展
2022, 59(18): 1810010
Author Affiliations
Abstract
1 School of Information Sciences and Technology, Northwest University, Xi'an, Shaanxi 710127, P. R. China
2 University of Wisconsin-Madison, Madison, Wisconsin 53715, USA
3 Department of Nuclear Medicine, Xijing Hospital, Fourth Military Medical University, Xi'an, Shaanxi 710127, P. R. China
Brown adipose tissue (BAT) is a kind of adipose tissue engaging in thermoregulatory thermogenesis, metaboloregulatory thermogenesis, and secretory. Current studies have revealed that BAT activity is negatively correlated with adult body weight and is considered a target tissue for the treatment of obesity and other metabolic-related diseases. Additionally, the activity of BAT presents certain differences between different ages and genders. Clinically, BAT segmentation based on PET/CT data is a reliable method for brown fat research. However, most of the current BAT segmentation methods rely on the experience of doctors. In this paper, an improved U-net network, ICA-Unet, is proposed to achieve automatic and precise segmentation of BAT. First, the traditional 2D convolution layer in the encoder is replaced with a depth-wise overparameterized convolutional (Do-Conv) layer. Second, the channel attention block is introduced between the double-layer convolution. Finally, the image information entropy (IIE) block is added in the skip connections to strengthen the edge features. Furthermore, the performance of this method is evaluated on the dataset of PET/CT images from 368 patients. The results demonstrate a strong agreement between the automatic segmentation of BAT and manual annotation by experts. The average DICE coe±cient (DSC) is 0.9057, and the average Hausdorff distance is 7.2810. Experimental results suggest that the method proposed in this paper can achieve e±cient and accurate automatic BAT segmentation and satisfy the clinical requirements of BAT.
PET/CT segmentation of brown adipose tissue U-net medical image processing deep learning Journal of Innovative Optical Health Sciences
2022, 15(3): 2250018
光学 精密工程
2022, 30(10): 1217
1 西北大学 信息科学与技术学院，陕西西安7027
2 西北大学 文化遗产数字化国家地方联合工程研究中心，陕西西安71017
通过表皮生长因子受体（Epidermal Growth Factor Receptor，EGFR）突变情况可以对患者是否患有非小细胞肺癌（Non-small Cell Lung Cancer， NSCLC）进行检测。提出了一种基于对比学习的自监督EGFR基因突变预测方法，在不需要大量专家手工标注患者数据集的情况下，对输入网络的患者病灶区图像进行阴性、阳性预测。对自监督BYOL网络进行修改，增加了网络投影层非线性多层感知器（Multilayer Perceptron，MLP）的层数，并将患者CT和PET两个模态的图像数据融合作为网络的输入，在不需要大量标注患者数据集的情况下，对阴性、阳性病例进行预测。在非小细胞肺癌EGFR基因突变数据集上，与传统的影像组学、有监督VGG-16网络、有监督ResNet-50、有监督Inception v3和无监督迁移学习CAE进行对比。实验结果表明，使用对比学习从患者的CT和PET图像学习到的患者病灶区图像的实例特征可以对阴性、阳性病例进行区分，并取得了77%的曲线下面积（Area Under the Curve，AUC）；相对于传统的影像组学方法分类结果AUC提高了7%，相对于有监督VGG-16网络的分类结果AUC提高了5%；在不需要大量专家手工标注数据集及大量患者临床数据的情况下仅比有监督ResNet-50 AUC低9%。改进BYOL网络仅需要少量标注的患者数据集便可得到比部分传统有监督方法更准确的检测结果，展示了其辅助临床决策的潜力。
医学图像处理 深度学习 对比学习 PET/CT 肺非小细胞肺癌基因突变预测 medical image processing deep learning contrastive learning PET/CT prediction of gene mutations in lung non-small cell lung cancer
1 西北大学 信息科学与技术学院，陕西西安7027
2 西北大学 文化遗产数字化国家地方联合工程研究中心，陕西西安71017
由于外在因素导致出土的文物模型呈现破碎状态，对其进行虚拟修复对考古学具有重要意义。现有孔洞修补方法大多仅针对三维模型结构进行补全，并且在三维结构修复后缺少表面的颜色纹理信息。本文基于文物三维空间结构和纹理信息，提出一种三维文物孔洞修复方法。首先，为了解决三维文物结构修复问题，利用基于径向基函数的算法填补三维文物网格模型的孔洞，通过拟合的曲面方程调整孔洞补丁顶点，使其与原有模型更好地融合。其次，为补全文物表面颜色纹理信息，使孔洞补丁与原有模型表面纹理自然过渡，将三维问题转化为二维图像修复问题，以EdgeConnect为框架，通过添加精细化网络生成更高分辨率的结果。最后，使用Mudbox软件映射二维图像到三维模型表面，融合结构和纹理修复的结果。本文改进后的二维修复网络在评价指标PSNR（Peak Signal to Noise Ratio）、SSIM（Structural Similarity）和MAE（Mean Absolute Deviation）的性能分别提高了0.54%、0.217%和6.52%，该方法能够有效地恢复兵马俑三维模型网格结构和表面纹理信息。
孔洞修复 神经网络 GAN网络 纹理修复 径向基函数 hole repair deep learning GAN network texture inpainting radial basis function
1 西北大学信息科学与技术学院，陕西 西安 710127
2 北京师范大学信息科学与技术学院，北京 100875
针对传统的切连科夫荧光断层成像（CLT）方法的重建精度相对较低的问题，提出一种基于有限元剖分信息的局部连接网络（FES-LCN）。该网络由全连接子网络与结点连接子网络组成，其中结点连接子网络根据有限元剖分信息建立，用于预测初步重建结果与真实光源之间的残差。为验证该网络的性能，设计了物理仿真实验和数字鼠实验，结果表明，基于有限元剖分信息的局部连接网络具有良好的稳定性和准确性。
激光与光电子学进展
2022, 59(6): 0617031
